ด้านการศึกษา

โดยเจ้าพระยาพระเสด็จสุเรนทราธิบดี จัดทำหลักสูตรโรงเรียนเบญจมบพิตร (โรงเรียนมัธยมวัดเบญจมบพิตรในปัจจุบัน) ตามพระราชดำริพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ซึ่งพระองค์ทรงกำหนดหลักสูตรแนวการสอนของโรงเรียนนี้ด้วยพระองค์เอง

เพลงสรรเสริญพระบารมี

แต่เดิม การร้องเพลง "สรรเสริญพระบารมี" มีการแยกเนื้อร้องที่ใช้สำหรับ ทหารเรือหรือพลเรือนร้อง นอกจากนี้ยังมีการแบ่งแยกเนื้อร้องบางวรรคบางตอน สำหรับชาย และหญิงร้องต่างกัน ทำให้เกิดความลักลั่น เมื่อวันที่ 1 มีนาคม พ.ศ. 2456 เจ้าพระยาพระเสด็จสุเรนทราธิบดีได้ออกคำสั่ง กำหนดให้เพลงสรรเสริญพระบารมีมีเพียงเนื้อร้องเดียว เหมือนกันหมด

เพลงสามัคคีชุมนุม

พระยาวิสุทธสุริยศักดิ์ เป็นผู้ประพันธ์คำร้องภาษาไทยของเพลง "สามัคคีชุมนุม" โดยใช้ทำนองเพลง ออลด์แลงไซน์ (Auld Lang Syne) ท่านได้รับการยกย่องว่า สามารถใส่เนื้อร้องภาษาไทยเข้าไปให้สอดคล้องกับทำนองเดิมได้อย่างเหมาะเจาะ สามารถร้องเนื้อภาษาไทยไปพร้อมๆกับเนื้อภาษาเดิมของเพลงได้อย่างไม่ขัดเขิน เนื้อเพลงมีความหมายลึกซึ้ง ให้ความรู้สึกถึงความสามัคคีเป็นอันดีต่อหมู่คณะ[16]

สมบัติผู้ดี

พระยาวิสุทธสุริยศักดิ์ ได้แต่งหนังสือไว้หลายเล่ม เล่มหนึ่งที่มีชื่อเสียงคือ สมบัติผู้ดี ซึ่งกล่าวถึงหลักปฏิบัติ 10 ประการของผู้ที่มีกาย วาจา ใจ อันสุจริต ท่านได้เรียบเรียงไว้เมื่อ พ.ศ. 2455 [17]